2011-01-29 Patrick Gansterer <paroga@webkit.org>
[WebKit-https.git] / Source / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007, 2008, 2009 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "markup.h"
28
29 #include "CDATASection.h"
30 #include "CSSComputedStyleDeclaration.h"
31 #include "CSSMutableStyleDeclaration.h"
32 #include "CSSPrimitiveValue.h"
33 #include "CSSProperty.h"
34 #include "CSSPropertyNames.h"
35 #include "CSSRule.h"
36 #include "CSSRuleList.h"
37 #include "CSSStyleRule.h"
38 #include "CSSStyleSelector.h"
39 #include "CSSValue.h"
40 #include "CSSValueKeywords.h"
41 #include "DeleteButtonController.h"
42 #include "DocumentFragment.h"
43 #include "DocumentType.h"
44 #include "Editor.h"
45 #include "Frame.h"
46 #include "HTMLBodyElement.h"
47 #include "HTMLElement.h"
48 #include "HTMLNames.h"
49 #include "KURL.h"
50 #include "MarkupAccumulator.h"
51 #include "Range.h"
52 #include "TextIterator.h"
53 #include "VisibleSelection.h"
54 #include "XMLNSNames.h"
55 #include "htmlediting.h"
56 #include "visible_units.h"
57 #include <wtf/StdLibExtras.h>
58 #include <wtf/unicode/CharacterNames.h>
59
60 using namespace std;
61
62 namespace WebCore {
63
64 using namespace HTMLNames;
65
66 static bool propertyMissingOrEqualToNone(CSSStyleDeclaration*, int propertyID);
67
68 class AttributeChange {
69 public:
70     AttributeChange()
71         : m_name(nullAtom, nullAtom, nullAtom)
72     {
73     }
74
75     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
76         : m_element(element), m_name(name), m_value(value)
77     {
78     }
79
80     void apply()
81     {
82         m_element->setAttribute(m_name, m_value);
83     }
84
85 private:
86     RefPtr<Element> m_element;
87     QualifiedName m_name;
88     String m_value;
89 };
90
91 static void completeURLs(Node* node, const String& baseURL)
92 {
93     Vector<AttributeChange> changes;
94
95     KURL parsedBaseURL(ParsedURLString, baseURL);
96
97     Node* end = node->traverseNextSibling();
98     for (Node* n = node; n != end; n = n->traverseNextNode()) {
99         if (n->isElementNode()) {
100             Element* e = static_cast<Element*>(n);
101             NamedNodeMap* attributes = e->attributes();
102             unsigned length = attributes->length();
103             for (unsigned i = 0; i < length; i++) {
104                 Attribute* attribute = attributes->attributeItem(i);
105                 if (e->isURLAttribute(attribute))
106                     changes.append(AttributeChange(e, attribute->name(), KURL(parsedBaseURL, attribute->value()).string()));
107             }
108         }
109     }
110
111     size_t numChanges = changes.size();
112     for (size_t i = 0; i < numChanges; ++i)
113         changes[i].apply();
114 }
115     
116 class StyledMarkupAccumulator : public MarkupAccumulator {
117 public:
118     enum RangeFullySelectsNode { DoesFullySelectNode, DoesNotFullySelectNode };
119
120     StyledMarkupAccumulator(Vector<Node*>* nodes, EAbsoluteURLs shouldResolveURLs, EAnnotateForInterchange shouldAnnotate, const Range* range)
121     : MarkupAccumulator(nodes, shouldResolveURLs, range)
122     , m_shouldAnnotate(shouldAnnotate)
123     {
124     }
125
126     Node* serializeNodes(Node* startNode, Node* pastEnd);
127     virtual void appendString(const String& s) { return MarkupAccumulator::appendString(s); }
128     void wrapWithNode(Node*, bool convertBlocksToInlines = false, RangeFullySelectsNode = DoesFullySelectNode);
129     void wrapWithStyleNode(CSSStyleDeclaration*, Document*, bool isBlock = false);
130     String takeResults();
131
132 private:
133     virtual void appendText(Vector<UChar>& out, Text*);
134     String renderedText(const Node*, const Range*);
135     String stringValueForRange(const Node*, const Range*);
136     void removeExteriorStyles(CSSMutableStyleDeclaration*);
137     void appendElement(Vector<UChar>& out, Element* element, bool addDisplayInline, RangeFullySelectsNode);
138     void appendElement(Vector<UChar>& out, Element* element, Namespaces*) { appendElement(out, element, false, DoesFullySelectNode); }
139
140     bool shouldAnnotate() { return m_shouldAnnotate == AnnotateForInterchange; }
141
142     Vector<String> m_reversedPrecedingMarkup;
143     const EAnnotateForInterchange m_shouldAnnotate;
144 };
145
146 void StyledMarkupAccumulator::wrapWithNode(Node* node, bool convertBlocksToInlines, RangeFullySelectsNode rangeFullySelectsNode)
147 {
148     Vector<UChar> markup;
149     if (node->isElementNode())
150         appendElement(markup, static_cast<Element*>(node), convertBlocksToInlines && isBlock(const_cast<Node*>(node)), rangeFullySelectsNode);
151     else
152         appendStartMarkup(markup, node, 0);
153     m_reversedPrecedingMarkup.append(String::adopt(markup));
154     appendEndTag(node);
155     if (m_nodes)
156         m_nodes->append(node);
157 }
158
159 void StyledMarkupAccumulator::wrapWithStyleNode(CSSStyleDeclaration* style, Document* document, bool isBlock)
160 {
161     // All text-decoration-related elements should have been treated as special ancestors
162     // If we ever hit this ASSERT, we should export StyleChange in ApplyStyleCommand and use it here
163     ASSERT(propertyMissingOrEqualToNone(style, CSSPropertyTextDecoration) && propertyMissingOrEqualToNone(style, CSSPropertyWebkitTextDecorationsInEffect));
164     DEFINE_STATIC_LOCAL(const String, divStyle, ("<div style=\""));
165     DEFINE_STATIC_LOCAL(const String, divClose, ("</div>"));
166     DEFINE_STATIC_LOCAL(const String, styleSpanOpen, ("<span class=\"" AppleStyleSpanClass "\" style=\""));
167     DEFINE_STATIC_LOCAL(const String, styleSpanClose, ("</span>"));
168     Vector<UChar> openTag;
169     append(openTag, isBlock ? divStyle : styleSpanOpen);
170     appendAttributeValue(openTag, style->cssText(), document->isHTMLDocument());
171     openTag.append('\"');
172     openTag.append('>');
173     m_reversedPrecedingMarkup.append(String::adopt(openTag));
174     appendString(isBlock ? divClose : styleSpanClose);
175 }
176
177 String StyledMarkupAccumulator::takeResults()
178 {
179     Vector<UChar> result;
180     result.reserveInitialCapacity(totalLength(m_reversedPrecedingMarkup) + length());
181
182     for (size_t i = m_reversedPrecedingMarkup.size(); i > 0; --i)
183         append(result, m_reversedPrecedingMarkup[i - 1]);
184
185     concatenateMarkup(result);
186
187     // We remove '\0' characters because they are not visibly rendered to the user.
188     return String::adopt(result).replace(0, "");
189 }
190
191 void StyledMarkupAccumulator::appendText(Vector<UChar>& out, Text* text)
192 {
193     if (!shouldAnnotate() || (text->parentElement() && text->parentElement()->tagQName() == textareaTag)) {
194         MarkupAccumulator::appendText(out, text);
195         return;
196     }
197
198     bool useRenderedText = !enclosingNodeWithTag(firstPositionInNode(text), selectTag);
199     String content = useRenderedText ? renderedText(text, m_range) : stringValueForRange(text, m_range);
200     Vector<UChar> buffer;
201     appendCharactersReplacingEntities(buffer, content.characters(), content.length(), EntityMaskInPCDATA);
202     append(out, convertHTMLTextToInterchangeFormat(String::adopt(buffer), text));
203 }
204     
205 String StyledMarkupAccumulator::renderedText(const Node* node, const Range* range)
206 {
207     if (!node->isTextNode())
208         return String();
209
210     ExceptionCode ec;
211     const Text* textNode = static_cast<const Text*>(node);
212     unsigned startOffset = 0;
213     unsigned endOffset = textNode->length();
214
215     if (range && node == range->startContainer(ec))
216         startOffset = range->startOffset(ec);
217     if (range && node == range->endContainer(ec))
218         endOffset = range->endOffset(ec);
219
220     Position start(const_cast<Node*>(node), startOffset);
221     Position end(const_cast<Node*>(node), endOffset);
222     return plainText(Range::create(node->document(), start, end).get());
223 }
224
225 String StyledMarkupAccumulator::stringValueForRange(const Node* node, const Range* range)
226 {
227     if (!range)
228         return node->nodeValue();
229
230     String str = node->nodeValue();
231     ExceptionCode ec;
232     if (node == range->endContainer(ec))
233         str.truncate(range->endOffset(ec));
234     if (node == range->startContainer(ec))
235         str.remove(0, range->startOffset(ec));
236     return str;
237 }
238
239 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesForElement(Element* element, bool authorOnly = true)
240 {
241     RefPtr<CSSMutableStyleDeclaration> style = CSSMutableStyleDeclaration::create();
242     RefPtr<CSSRuleList> matchedRules = element->document()->styleSelector()->styleRulesForElement(element, authorOnly);
243     if (matchedRules) {
244         for (unsigned i = 0; i < matchedRules->length(); i++) {
245             if (matchedRules->item(i)->type() == CSSRule::STYLE_RULE) {
246                 RefPtr<CSSMutableStyleDeclaration> s = static_cast<CSSStyleRule*>(matchedRules->item(i))->style();
247                 style->merge(s.get(), true);
248             }
249         }
250     }
251
252     return style.release();
253 }
254
255 void StyledMarkupAccumulator::appendElement(Vector<UChar>& out, Element* element, bool addDisplayInline, RangeFullySelectsNode rangeFullySelectsNode)
256 {
257     bool documentIsHTML = element->document()->isHTMLDocument();
258     appendOpenTag(out, element, 0);
259
260     NamedNodeMap* attributes = element->attributes();
261     unsigned length = attributes->length();
262     for (unsigned int i = 0; i < length; i++) {
263         Attribute* attribute = attributes->attributeItem(i);
264         // We'll handle the style attribute separately, below.
265         if (attribute->name() == styleAttr && element->isHTMLElement() && (shouldAnnotate() || addDisplayInline))
266             continue;
267         appendAttribute(out, element, *attribute, 0);
268     }
269
270     if (element->isHTMLElement() && (shouldAnnotate() || addDisplayInline)) {
271         RefPtr<CSSMutableStyleDeclaration> style = static_cast<HTMLElement*>(element)->getInlineStyleDecl()->copy();
272         if (shouldAnnotate()) {
273             RefPtr<CSSMutableStyleDeclaration> styleFromMatchedRules = styleFromMatchedRulesForElement(const_cast<Element*>(element));
274             // Styles from the inline style declaration, held in the variable "style", take precedence 
275             // over those from matched rules.
276             styleFromMatchedRules->merge(style.get());
277             style = styleFromMatchedRules;
278
279             RefPtr<CSSComputedStyleDeclaration> computedStyleForElement = computedStyle(element);
280             RefPtr<CSSMutableStyleDeclaration> fromComputedStyle = CSSMutableStyleDeclaration::create();
281
282             {
283                 CSSMutableStyleDeclaration::const_iterator end = style->end();
284                 for (CSSMutableStyleDeclaration::const_iterator it = style->begin(); it != end; ++it) {
285                     const CSSProperty& property = *it;
286                     CSSValue* value = property.value();
287                     // The property value, if it's a percentage, may not reflect the actual computed value.  
288                     // For example: style="height: 1%; overflow: visible;" in quirksmode
289                     // FIXME: There are others like this, see <rdar://problem/5195123> Slashdot copy/paste fidelity problem
290                     if (value->cssValueType() == CSSValue::CSS_PRIMITIVE_VALUE)
291                         if (static_cast<CSSPrimitiveValue*>(value)->primitiveType() == CSSPrimitiveValue::CSS_PERCENTAGE)
292                             if (RefPtr<CSSValue> computedPropertyValue = computedStyleForElement->getPropertyCSSValue(property.id()))
293                                 fromComputedStyle->addParsedProperty(CSSProperty(property.id(), computedPropertyValue));
294                 }
295             }
296             style->merge(fromComputedStyle.get());
297         }
298         if (addDisplayInline)
299             style->setProperty(CSSPropertyDisplay, CSSValueInline, true);
300         // If the node is not fully selected by the range, then we don't want to keep styles that affect its relationship to the nodes around it
301         // only the ones that affect it and the nodes within it.
302         if (rangeFullySelectsNode == DoesNotFullySelectNode)
303             removeExteriorStyles(style.get());
304         if (style->length() > 0) {
305             DEFINE_STATIC_LOCAL(const String, stylePrefix, (" style=\""));
306             append(out, stylePrefix);
307             appendAttributeValue(out, style->cssText(), documentIsHTML);
308             out.append('\"');
309         }
310     }
311
312     appendCloseTag(out, element);
313 }
314
315 void StyledMarkupAccumulator::removeExteriorStyles(CSSMutableStyleDeclaration* style)
316 {
317     style->removeProperty(CSSPropertyFloat);
318 }
319
320 Node* StyledMarkupAccumulator::serializeNodes(Node* startNode, Node* pastEnd)
321 {
322     Vector<Node*> ancestorsToClose;
323     Node* next;
324     Node* lastClosed = 0;
325     for (Node* n = startNode; n != pastEnd; n = next) {
326         // According to <rdar://problem/5730668>, it is possible for n to blow
327         // past pastEnd and become null here. This shouldn't be possible.
328         // This null check will prevent crashes (but create too much markup)
329         // and the ASSERT will hopefully lead us to understanding the problem.
330         ASSERT(n);
331         if (!n)
332             break;
333         
334         next = n->traverseNextNode();
335         bool openedTag = false;
336
337         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
338             // Don't write out empty block containers that aren't fully selected.
339             continue;
340
341         if (!n->renderer() && !enclosingNodeWithTag(firstPositionInOrBeforeNode(n), selectTag)) {
342             next = n->traverseNextSibling();
343             // Don't skip over pastEnd.
344             if (pastEnd && pastEnd->isDescendantOf(n))
345                 next = pastEnd;
346         } else {
347             // Add the node to the markup if we're not skipping the descendants
348             appendStartTag(n);
349
350             // If node has no children, close the tag now.
351             if (!n->childNodeCount()) {
352                 appendEndTag(n);
353                 lastClosed = n;
354             } else {
355                 openedTag = true;
356                 ancestorsToClose.append(n);
357             }
358         }
359
360         // If we didn't insert open tag and there's no more siblings or we're at the end of the traversal, take care of ancestors.
361         // FIXME: What happens if we just inserted open tag and reached the end?
362         if (!openedTag && (!n->nextSibling() || next == pastEnd)) {
363             // Close up the ancestors.
364             while (!ancestorsToClose.isEmpty()) {
365                 Node* ancestor = ancestorsToClose.last();
366                 if (next != pastEnd && next->isDescendantOf(ancestor))
367                     break;
368                 // Not at the end of the range, close ancestors up to sibling of next node.
369                 appendEndTag(ancestor);
370                 lastClosed = ancestor;
371                 ancestorsToClose.removeLast();
372             }
373
374             // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
375             ContainerNode* nextParent = next ? next->parentNode() : 0;
376             if (next != pastEnd && n != nextParent) {
377                 Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
378                 for (ContainerNode* parent = lastAncestorClosedOrSelf->parentNode(); parent && parent != nextParent; parent = parent->parentNode()) {
379                     // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
380                     if (!parent->renderer())
381                         continue;
382                     // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
383                     ASSERT(startNode->isDescendantOf(parent));
384                     wrapWithNode(parent);
385                     lastClosed = parent;
386                 }
387             }
388         }
389     }
390
391     return lastClosed;
392 }
393
394 static Node* ancestorToRetainStructureAndAppearance(Node* commonAncestor)
395 {
396     Node* commonAncestorBlock = enclosingBlock(commonAncestor);
397
398     if (!commonAncestorBlock)
399         return 0;
400
401     if (commonAncestorBlock->hasTagName(tbodyTag) || commonAncestorBlock->hasTagName(trTag)) {
402         ContainerNode* table = commonAncestorBlock->parentNode();
403         while (table && !table->hasTagName(tableTag))
404             table = table->parentNode();
405
406         return table;
407     }
408
409     if (commonAncestorBlock->hasTagName(listingTag)
410         || commonAncestorBlock->hasTagName(olTag)
411         || commonAncestorBlock->hasTagName(preTag)
412         || commonAncestorBlock->hasTagName(tableTag)
413         || commonAncestorBlock->hasTagName(ulTag)
414         || commonAncestorBlock->hasTagName(xmpTag)
415         || commonAncestorBlock->hasTagName(h1Tag)
416         || commonAncestorBlock->hasTagName(h2Tag)
417         || commonAncestorBlock->hasTagName(h3Tag)
418         || commonAncestorBlock->hasTagName(h4Tag)
419         || commonAncestorBlock->hasTagName(h5Tag))
420         return commonAncestorBlock;
421
422     return 0;
423 }
424
425 static bool propertyMissingOrEqualToNone(CSSStyleDeclaration* style, int propertyID)
426 {
427     if (!style)
428         return false;
429     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
430     if (!value)
431         return true;
432     if (!value->isPrimitiveValue())
433         return false;
434     return static_cast<CSSPrimitiveValue*>(value.get())->getIdent() == CSSValueNone;
435 }
436
437 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
438 {
439     VisiblePosition next = v.next();
440     Node* upstreamNode = next.deepEquivalent().upstream().node();
441     Node* downstreamNode = v.deepEquivalent().downstream().node();
442     // Add an interchange newline if a paragraph break is selected and a br won't already be added to the markup to represent it.
443     return isEndOfParagraph(v) && isStartOfParagraph(next) && !(upstreamNode->hasTagName(brTag) && upstreamNode == downstreamNode);
444 }
445
446 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesAndInlineDecl(const Node* node)
447 {
448     if (!node->isHTMLElement())
449         return 0;
450
451     // FIXME: Having to const_cast here is ugly, but it is quite a bit of work to untangle
452     // the non-const-ness of styleFromMatchedRulesForElement.
453     HTMLElement* element = const_cast<HTMLElement*>(static_cast<const HTMLElement*>(node));
454     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesForElement(element);
455     RefPtr<CSSMutableStyleDeclaration> inlineStyleDecl = element->getInlineStyleDecl();
456     style->merge(inlineStyleDecl.get());
457     return style.release();
458 }
459
460 static bool isElementPresentational(const Node* node)
461 {
462     if (node->hasTagName(uTag) || node->hasTagName(sTag) || node->hasTagName(strikeTag)
463         || node->hasTagName(iTag) || node->hasTagName(emTag) || node->hasTagName(bTag) || node->hasTagName(strongTag))
464         return true;
465     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(node);
466     if (!style)
467         return false;
468     return !propertyMissingOrEqualToNone(style.get(), CSSPropertyTextDecoration);
469 }
470
471 static bool shouldIncludeWrapperForFullySelectedRoot(Node* fullySelectedRoot, CSSMutableStyleDeclaration* style)
472 {
473     if (fullySelectedRoot->isElementNode() && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
474         return true;
475     
476     return style->getPropertyCSSValue(CSSPropertyBackgroundImage) || style->getPropertyCSSValue(CSSPropertyBackgroundColor);
477 }
478
479 static Node* highestAncestorToWrapMarkup(const Range* range, Node* fullySelectedRoot, EAnnotateForInterchange shouldAnnotate)
480 {
481     ExceptionCode ec;
482     Node* commonAncestor = range->commonAncestorContainer(ec);
483     ASSERT(commonAncestor);
484     Node* specialCommonAncestor = 0;
485     if (shouldAnnotate == AnnotateForInterchange) {
486         // Include ancestors that aren't completely inside the range but are required to retain 
487         // the structure and appearance of the copied markup.
488         specialCommonAncestor = ancestorToRetainStructureAndAppearance(commonAncestor);
489
490         // Retain the Mail quote level by including all ancestor mail block quotes.
491         for (Node* ancestor = range->firstNode(); ancestor; ancestor = ancestor->parentNode()) {
492             if (isMailBlockquote(ancestor))
493                 specialCommonAncestor = ancestor;
494         }
495     }
496
497     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
498     if (checkAncestor->renderer()) {
499         Node* newSpecialCommonAncestor = highestEnclosingNodeOfType(firstPositionInNode(checkAncestor), &isElementPresentational);
500         if (newSpecialCommonAncestor)
501             specialCommonAncestor = newSpecialCommonAncestor;
502     }
503
504     // If a single tab is selected, commonAncestor will be a text node inside a tab span.
505     // If two or more tabs are selected, commonAncestor will be the tab span.
506     // In either case, if there is a specialCommonAncestor already, it will necessarily be above 
507     // any tab span that needs to be included.
508     if (!specialCommonAncestor && isTabSpanTextNode(commonAncestor))
509         specialCommonAncestor = commonAncestor->parentNode();
510     if (!specialCommonAncestor && isTabSpanNode(commonAncestor))
511         specialCommonAncestor = commonAncestor;
512
513     if (Node *enclosingAnchor = enclosingNodeWithTag(firstPositionInNode(specialCommonAncestor ? specialCommonAncestor : commonAncestor), aTag))
514         specialCommonAncestor = enclosingAnchor;
515
516     if (shouldAnnotate == AnnotateForInterchange && fullySelectedRoot) {
517         RefPtr<CSSMutableStyleDeclaration> fullySelectedRootStyle = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
518         if (shouldIncludeWrapperForFullySelectedRoot(fullySelectedRoot, fullySelectedRootStyle.get()))
519             specialCommonAncestor = fullySelectedRoot;
520     }
521     return specialCommonAncestor;
522 }
523
524 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
525 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
526 String createMarkup(const Range* range, Vector<Node*>* nodes, EAnnotateForInterchange shouldAnnotate, bool convertBlocksToInlines, EAbsoluteURLs shouldResolveURLs)
527 {
528     DEFINE_STATIC_LOCAL(const String, interchangeNewlineString, ("<br class=\"" AppleInterchangeNewline "\">"));
529
530     if (!range)
531         return "";
532
533     Document* document = range->ownerDocument();
534     if (!document)
535         return "";
536
537     // Disable the delete button so it's elements are not serialized into the markup,
538     // but make sure neither endpoint is inside the delete user interface.
539     Frame* frame = document->frame();
540     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
541     RefPtr<Range> updatedRange = avoidIntersectionWithNode(range, deleteButton ? deleteButton->containerElement() : 0);
542     if (!updatedRange)
543         return "";
544
545     if (deleteButton)
546         deleteButton->disable();
547
548     ExceptionCode ec = 0;
549     bool collapsed = updatedRange->collapsed(ec);
550     ASSERT(!ec);
551     if (collapsed)
552         return "";
553     Node* commonAncestor = updatedRange->commonAncestorContainer(ec);
554     ASSERT(!ec);
555     if (!commonAncestor)
556         return "";
557
558     document->updateLayoutIgnorePendingStylesheets();
559
560     StyledMarkupAccumulator accumulator(nodes, shouldResolveURLs, shouldAnnotate, updatedRange.get());
561     Node* pastEnd = updatedRange->pastLastNode();
562
563     Node* startNode = updatedRange->firstNode();
564     VisiblePosition visibleStart(updatedRange->startPosition(), VP_DEFAULT_AFFINITY);
565     VisiblePosition visibleEnd(updatedRange->endPosition(), VP_DEFAULT_AFFINITY);
566     if (shouldAnnotate == AnnotateForInterchange && needInterchangeNewlineAfter(visibleStart)) {
567         if (visibleStart == visibleEnd.previous()) {
568             if (deleteButton)
569                 deleteButton->enable();
570             return interchangeNewlineString;
571         }
572
573         accumulator.appendString(interchangeNewlineString);
574         startNode = visibleStart.next().deepEquivalent().node();
575
576         if (pastEnd && Range::compareBoundaryPoints(startNode, 0, pastEnd, 0) >= 0) {
577             if (deleteButton)
578                 deleteButton->enable();
579             return interchangeNewlineString;
580         }
581     }
582
583     Node* body = enclosingNodeWithTag(firstPositionInNode(commonAncestor), bodyTag);
584     Node* fullySelectedRoot = 0;
585     // FIXME: Do this for all fully selected blocks, not just the body.
586     if (body && areRangesEqual(VisibleSelection::selectionFromContentsOfNode(body).toNormalizedRange().get(), range))
587         fullySelectedRoot = body;
588
589     Node* specialCommonAncestor = highestAncestorToWrapMarkup(updatedRange.get(), fullySelectedRoot, shouldAnnotate);
590
591     Node* lastClosed = accumulator.serializeNodes(startNode, pastEnd);
592
593     if (specialCommonAncestor && lastClosed) {
594         // Also include all of the ancestors of lastClosed up to this special ancestor.
595         for (ContainerNode* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
596             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
597                 RefPtr<CSSMutableStyleDeclaration> fullySelectedRootStyle = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
598
599                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
600                 // appears to have no effect.
601                 if (!fullySelectedRootStyle->getPropertyCSSValue(CSSPropertyBackgroundImage) && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
602                     fullySelectedRootStyle->setProperty(CSSPropertyBackgroundImage, "url('" + static_cast<Element*>(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
603                 
604                 if (fullySelectedRootStyle->length()) {
605                     // Reset the CSS properties to avoid an assertion error in addStyleMarkup().
606                     // This assertion is caused at least when we select all text of a <body> element whose
607                     // 'text-decoration' property is "inherit", and copy it.
608                     if (!propertyMissingOrEqualToNone(fullySelectedRootStyle.get(), CSSPropertyTextDecoration))
609                         fullySelectedRootStyle->setProperty(CSSPropertyTextDecoration, CSSValueNone);
610                     if (!propertyMissingOrEqualToNone(fullySelectedRootStyle.get(), CSSPropertyWebkitTextDecorationsInEffect))
611                         fullySelectedRootStyle->setProperty(CSSPropertyWebkitTextDecorationsInEffect, CSSValueNone);
612                     accumulator.wrapWithStyleNode(fullySelectedRootStyle.get(), document, true);
613                 }
614             } else {
615                 // Since this node and all the other ancestors are not in the selection we want to set RangeFullySelectsNode to DoesNotFullySelectNode
616                 // so that styles that affect the exterior of the node are not included.
617                 accumulator.wrapWithNode(ancestor, convertBlocksToInlines, StyledMarkupAccumulator::DoesNotFullySelectNode);
618             }
619             if (nodes)
620                 nodes->append(ancestor);
621             
622             lastClosed = ancestor;
623             
624             if (ancestor == specialCommonAncestor)
625                 break;
626         }
627     }
628
629     // Add a wrapper span with the styles that all of the nodes in the markup inherit.
630     ContainerNode* parentOfLastClosed = lastClosed ? lastClosed->parentNode() : 0;
631     if (parentOfLastClosed && parentOfLastClosed->renderer()) {
632         RefPtr<EditingStyle> style = EditingStyle::create(parentOfLastClosed);
633
634         // Styles that Mail blockquotes contribute should only be placed on the Mail blockquote, to help
635         // us differentiate those styles from ones that the user has applied.  This helps us
636         // get the color of content pasted into blockquotes right.
637         style->removeStyleAddedByNode(nearestMailBlockquote(parentOfLastClosed));
638
639         // Document default styles will be added on another wrapper span.
640         if (document && document->documentElement())
641             style->prepareToApplyAt(firstPositionInNode(document->documentElement()));
642
643         // Since we are converting blocks to inlines, remove any inherited block properties that are in the style.
644         // This cuts out meaningless properties and prevents properties from magically affecting blocks later
645         // if the style is cloned for a new block element during a future editing operation.
646         if (convertBlocksToInlines)
647             style->removeBlockProperties();
648
649         if (!style->isEmpty())
650             accumulator.wrapWithStyleNode(style->style(), document);
651     }
652     
653     if (lastClosed && lastClosed != document->documentElement()) {
654         // Add a style span with the document's default styles.  We add these in a separate
655         // span so that at paste time we can differentiate between document defaults and user
656         // applied styles.
657         RefPtr<EditingStyle> defaultStyle = EditingStyle::create(document->documentElement());
658         if (!defaultStyle->isEmpty())
659             accumulator.wrapWithStyleNode(defaultStyle->style(), document);
660     }
661
662     // FIXME: The interchange newline should be placed in the block that it's in, not after all of the content, unconditionally.
663     if (shouldAnnotate == AnnotateForInterchange && needInterchangeNewlineAfter(visibleEnd.previous()))
664         accumulator.appendString(interchangeNewlineString);
665
666     if (deleteButton)
667         deleteButton->enable();
668
669     return accumulator.takeResults();
670 }
671
672 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document* document, const String& markup, const String& baseURL, FragmentScriptingPermission scriptingPermission)
673 {
674     // We use a fake body element here to trick the HTML parser to using the
675     // InBody insertion mode.  Really, all this code is wrong and need to be
676     // changed not to use deprecatedCreateContextualFragment.
677     RefPtr<HTMLBodyElement> fakeBody = HTMLBodyElement::create(document);
678     // FIXME: This should not use deprecatedCreateContextualFragment
679     RefPtr<DocumentFragment> fragment = fakeBody->deprecatedCreateContextualFragment(markup, scriptingPermission);
680
681     if (fragment && !baseURL.isEmpty() && baseURL != blankURL() && baseURL != document->baseURL())
682         completeURLs(fragment.get(), baseURL);
683
684     return fragment.release();
685 }
686
687 String createMarkup(const Node* node, EChildrenOnly childrenOnly, Vector<Node*>* nodes, EAbsoluteURLs shouldResolveURLs)
688 {
689     if (!node)
690         return "";
691
692     HTMLElement* deleteButtonContainerElement = 0;
693     if (Frame* frame = node->document()->frame()) {
694         deleteButtonContainerElement = frame->editor()->deleteButtonController()->containerElement();
695         if (node->isDescendantOf(deleteButtonContainerElement))
696             return "";
697     }
698
699     MarkupAccumulator accumulator(nodes, shouldResolveURLs);
700     return accumulator.serializeNodes(const_cast<Node*>(node), deleteButtonContainerElement, childrenOnly);
701 }
702
703 static void fillContainerFromString(ContainerNode* paragraph, const String& string)
704 {
705     Document* document = paragraph->document();
706
707     ExceptionCode ec = 0;
708     if (string.isEmpty()) {
709         paragraph->appendChild(createBlockPlaceholderElement(document), ec);
710         ASSERT(!ec);
711         return;
712     }
713
714     ASSERT(string.find('\n') == notFound);
715
716     Vector<String> tabList;
717     string.split('\t', true, tabList);
718     String tabText = "";
719     bool first = true;
720     size_t numEntries = tabList.size();
721     for (size_t i = 0; i < numEntries; ++i) {
722         const String& s = tabList[i];
723
724         // append the non-tab textual part
725         if (!s.isEmpty()) {
726             if (!tabText.isEmpty()) {
727                 paragraph->appendChild(createTabSpanElement(document, tabText), ec);
728                 ASSERT(!ec);
729                 tabText = "";
730             }
731             RefPtr<Node> textNode = document->createTextNode(stringWithRebalancedWhitespace(s, first, i + 1 == numEntries));
732             paragraph->appendChild(textNode.release(), ec);
733             ASSERT(!ec);
734         }
735
736         // there is a tab after every entry, except the last entry
737         // (if the last character is a tab, the list gets an extra empty entry)
738         if (i + 1 != numEntries)
739             tabText.append('\t');
740         else if (!tabText.isEmpty()) {
741             paragraph->appendChild(createTabSpanElement(document, tabText), ec);
742             ASSERT(!ec);
743         }
744         
745         first = false;
746     }
747 }
748
749 bool isPlainTextMarkup(Node *node)
750 {
751     if (!node->isElementNode() || !node->hasTagName(divTag) || static_cast<Element*>(node)->attributes()->length())
752         return false;
753     
754     if (node->childNodeCount() == 1 && (node->firstChild()->isTextNode() || (node->firstChild()->firstChild())))
755         return true;
756     
757     return (node->childNodeCount() == 2 && isTabSpanTextNode(node->firstChild()->firstChild()) && node->firstChild()->nextSibling()->isTextNode());
758 }
759
760 PassRefPtr<DocumentFragment> createFragmentFromText(Range* context, const String& text)
761 {
762     if (!context)
763         return 0;
764
765     Node* styleNode = context->firstNode();
766     if (!styleNode) {
767         styleNode = context->startPosition().node();
768         if (!styleNode)
769             return 0;
770     }
771
772     Document* document = styleNode->document();
773     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
774     
775     if (text.isEmpty())
776         return fragment.release();
777
778     String string = text;
779     string.replace("\r\n", "\n");
780     string.replace('\r', '\n');
781
782     ExceptionCode ec = 0;
783     RenderObject* renderer = styleNode->renderer();
784     if (renderer && renderer->style()->preserveNewline()) {
785         fragment->appendChild(document->createTextNode(string), ec);
786         ASSERT(!ec);
787         if (string.endsWith("\n")) {
788             RefPtr<Element> element = createBreakElement(document);
789             element->setAttribute(classAttr, AppleInterchangeNewline);            
790             fragment->appendChild(element.release(), ec);
791             ASSERT(!ec);
792         }
793         return fragment.release();
794     }
795
796     // A string with no newlines gets added inline, rather than being put into a paragraph.
797     if (string.find('\n') == notFound) {
798         fillContainerFromString(fragment.get(), string);
799         return fragment.release();
800     }
801
802     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
803     Node* blockNode = enclosingBlock(context->firstNode());
804     Element* block = static_cast<Element*>(blockNode);
805     bool useClonesOfEnclosingBlock = blockNode
806         && blockNode->isElementNode()
807         && !block->hasTagName(bodyTag)
808         && !block->hasTagName(htmlTag)
809         && block != editableRootForPosition(context->startPosition());
810     
811     Vector<String> list;
812     string.split('\n', true, list); // true gets us empty strings in the list
813     size_t numLines = list.size();
814     for (size_t i = 0; i < numLines; ++i) {
815         const String& s = list[i];
816
817         RefPtr<Element> element;
818         if (s.isEmpty() && i + 1 == numLines) {
819             // For last line, use the "magic BR" rather than a P.
820             element = createBreakElement(document);
821             element->setAttribute(classAttr, AppleInterchangeNewline);            
822         } else {
823             if (useClonesOfEnclosingBlock)
824                 element = block->cloneElementWithoutChildren();
825             else
826                 element = createDefaultParagraphElement(document);
827             fillContainerFromString(element.get(), s);
828         }
829         fragment->appendChild(element.release(), ec);
830         ASSERT(!ec);
831     }
832     return fragment.release();
833 }
834
835 PassRefPtr<DocumentFragment> createFragmentFromNodes(Document *document, const Vector<Node*>& nodes)
836 {
837     if (!document)
838         return 0;
839
840     // disable the delete button so it's elements are not serialized into the markup
841     if (document->frame())
842         document->frame()->editor()->deleteButtonController()->disable();
843
844     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
845
846     ExceptionCode ec = 0;
847     size_t size = nodes.size();
848     for (size_t i = 0; i < size; ++i) {
849         RefPtr<Element> element = createDefaultParagraphElement(document);
850         element->appendChild(nodes[i], ec);
851         ASSERT(!ec);
852         fragment->appendChild(element.release(), ec);
853         ASSERT(!ec);
854     }
855
856     if (document->frame())
857         document->frame()->editor()->deleteButtonController()->enable();
858
859     return fragment.release();
860 }
861
862 String createFullMarkup(const Node* node)
863 {
864     if (!node)
865         return String();
866         
867     Document* document = node->document();
868     if (!document)
869         return String();
870         
871     Frame* frame = document->frame();
872     if (!frame)
873         return String();
874
875     // FIXME: This is never "for interchange". Is that right?    
876     String markupString = createMarkup(node, IncludeNode, 0);
877     Node::NodeType nodeType = node->nodeType();
878     if (nodeType != Node::DOCUMENT_NODE && nodeType != Node::DOCUMENT_TYPE_NODE)
879         markupString = frame->documentTypeString() + markupString;
880
881     return markupString;
882 }
883
884 String createFullMarkup(const Range* range)
885 {
886     if (!range)
887         return String();
888
889     Node* node = range->startContainer();
890     if (!node)
891         return String();
892         
893     Document* document = node->document();
894     if (!document)
895         return String();
896         
897     Frame* frame = document->frame();
898     if (!frame)
899         return String();
900
901     // FIXME: This is always "for interchange". Is that right? See the previous method.
902     return frame->documentTypeString() + createMarkup(range, 0, AnnotateForInterchange);        
903 }
904
905 String urlToMarkup(const KURL& url, const String& title)
906 {
907     Vector<UChar> markup;
908     append(markup, "<a href=\"");
909     append(markup, url.string());
910     append(markup, "\">");
911     appendCharactersReplacingEntities(markup, title.characters(), title.length(), EntityMaskInPCDATA);
912     append(markup, "</a>");
913     return String::adopt(markup);
914 }
915
916 }